为有效语义分割和特别是视频语义分割构建模型的主要障碍是缺乏大型和良好的注释数据集。这种瓶颈在高度专业化的和监管领域特别禁止,例如医学和手术,视频语义细分可能具有重要应用,但数据和专家注释是稀缺的。在这些设置中,可以在培训期间利用时间线索和解剖结构来提高性能。在这里,我们呈现时间限制的神经网络(TCNN),是用于外科视频的视频语义分割的半监督框架。在这项工作中,我们表明AutoEncoder网络可用于有效地提供空间和时间监控信号来培训深度学习模型。我们在新推出的腹腔镜胆囊切除术文程序,内测序和对CADIS,CADIS的公共数据集的适应时测试我们的方法。我们证明,可以利用预测面罩的较低尺寸表示,以在稀疏标记的数据集中提供一致的改进,这些数据集在推理时间不具有额外的计算成本。此外,TCNN框架是模型无关的,可以与其他模型设计选择结合使用,具有最小的额外复杂性。
translated by 谷歌翻译
The automation of an increasingly large number of software engineering tasks is becoming possible thanks to Machine Learning (ML). One foundational building block in the application of ML to software artifacts is the representation of these artifacts (e.g., source code or executable code) into a form that is suitable for learning. Many studies have leveraged representation learning, delegating to ML itself the job of automatically devising suitable representations. Yet, in the context of Android problems, existing models are either limited to coarse-grained whole-app level (e.g., apk2vec) or conducted for one specific downstream task (e.g., smali2vec). Our work is part of a new line of research that investigates effective, task-agnostic, and fine-grained universal representations of bytecode to mitigate both of these two limitations. Such representations aim to capture information relevant to various low-level downstream tasks (e.g., at the class-level). We are inspired by the field of Natural Language Processing, where the problem of universal representation was addressed by building Universal Language Models, such as BERT, whose goal is to capture abstract semantic information about sentences, in a way that is reusable for a variety of tasks. We propose DexBERT, a BERT-like Language Model dedicated to representing chunks of DEX bytecode, the main binary format used in Android applications. We empirically assess whether DexBERT is able to model the DEX language and evaluate the suitability of our model in two distinct class-level software engineering tasks: Malicious Code Localization and Defect Prediction. We also experiment with strategies to deal with the problem of catering to apps having vastly different sizes, and we demonstrate one example of using our technique to investigate what information is relevant to a given task.
translated by 谷歌翻译
Recent years have witnessed an astonishing explosion in the evolution of mobile applications powered by AI technologies. The rapid growth of AI frameworks enables the transition of AI technologies to mobile devices, significantly prompting the adoption of AI apps (i.e., apps that integrate AI into their functions) among smartphone devices. In this paper, we conduct the most extensive empirical study on 56,682 published AI apps from three perspectives: dataset characteristics, development issues, and user feedback and privacy. To this end, we build an automated AI app identification tool, AI Discriminator, that detects eligible AI apps from 7,259,232 mobile apps. First, we carry out a dataset analysis, where we explore the AndroZoo large repository to identify AI apps and their core characteristics. Subsequently, we pinpoint key issues in AI app development (e.g., model protection). Finally, we focus on user reviews and user privacy protection. Our paper provides several notable findings. Some essential ones involve revealing the issue of insufficient model protection by presenting the lack of model encryption, and demonstrating the risk of user privacy data being leaked. We published our large-scale AI app datasets to inspire more future research.
translated by 谷歌翻译
This contribution presents a deep learning method for the extraction and fusion of information relating to kidney stone fragments acquired from different viewpoints of the endoscope. Surface and section fragment images are jointly used during the training of the classifier to improve the discrimination power of the features by adding attention layers at the end of each convolutional block. This approach is specifically designed to mimic the morpho-constitutional analysis performed in ex-vivo by biologists to visually identify kidney stones by inspecting both views. The addition of attention mechanisms to the backbone improved the results of single view extraction backbones by 4% on average. Moreover, in comparison to the state-of-the-art, the fusion of the deep features improved the overall results up to 11% in terms of kidney stone classification accuracy.
translated by 谷歌翻译
背景:了解OMICS与表型之间的关系是精确医学中的一个核心问题。代谢组学数据的高维度挑战学习算法在可伸缩性和概括方面。大多数学习算法都不产生可解释的模型 - 方法:我们根据决策规则的结合或分离提出了一种集合学习算法。 - 结果:代谢组学数据的应用显示,它会产生可实现高预测性能的模型。模型的解释性使它们可用于生物标志物发现和高维数据中的模式发现。
translated by 谷歌翻译
本文提出了一个贝叶斯模型,以比较任何度量的多个数据集上的多种算法。该模型基于Bradley-Terry模型,该模型计算出一种算法在不同数据集上的性能要好于另一个算法的次数。由于其贝叶斯基础,贝叶斯布拉德利·特里模型(BBT)的特征与经常主义的方法不同,可以比较多个数据集上的多种算法,例如Demsar(2006)对平均等级的测试,以及Benavoli等人。 (2016)多个成对的Wilcoxon测试,具有P-调整程序。特别是,贝叶斯的方法允许对算法发表更多细微的陈述,而不是声称差异是统计学意义的。贝叶斯的方法还允许定义何时出于实际目的或实际等效区域(绳索)等效的何时等效。与Benavoli等人提出的贝叶斯签名的等级比较程序不同。 (2017年),我们的方法可以为任何度量标准定义绳索,因为它基于概率声明,而不是基于该度量的差异。本文还提出了一个局部绳索概念,该概念评估了在某些交叉验证中对某些其他算法的平均值的平均度量之间的正差异是否应真正被视为基于效应大小的第一种算法比第二个算法更好。该局部绳索提案与贝叶斯的使用无关,可以根据等级的常见方式使用。可以使用实现BBT的R软件包和Python程序。
translated by 谷歌翻译
在这项工作中,我们提出了一个新颖的观点,以解决贴片正确性评估的问题:正确的贴片实现了“答案”对越野车行为提出的问题的变化。具体而言,我们将贴片正确性评估变成一个问题回答问题。为了解决这个问题,我们的直觉是,自然语言处理可以提供必要的表示和模型来评估错误(问题)和补丁(答案)之间的语义相关性。具体而言,我们认为是输入错误报告以及生成的补丁的自然语言描述。我们的方法,Quatrain,首先考虑了最先进的消息生成模型,以生成与每个生成的补丁相关的相关输入。然后,我们利用神经网络体系结构来学习错误报告和提交消息之间的语义相关性。针对三个错误数据集生成的9135个补丁的大数据集(缺陷4J,Bugs.s.s.jar和Bears)的实验表明,Quatrain可以在预测补丁的正确性时达到0.886的AUC,并在过滤62%的62%错误的补丁时召回93%正确的补丁。我们的实验结果进一步证明了投入质量对预测性能的影响。我们进一步执行实验,以强调该模型确实了解了错误报告与预测的代码更改描述之间的关系。最后,我们与先前的工作进行比较,并讨论我们方法的好处。
translated by 谷歌翻译
我们为训练神经网络的时间逻辑约束提供了一种定理证明方法。我们对有限轨迹(LTL $ _F $)的线性时间逻辑的深层嵌入方式,并在Isabelle Theorem prover的高阶逻辑中表征其语义的相关评估功能。然后,我们继续正式化一个损失函数$ \ MATHCAL {l} $,我们正式证明是合理的,并且与函数$ d \ Mathcal {l} $可区分。随后,我们使用Isabelle的自动代码生成机制来生产LTL $ _F $,$ \ MATHCAL {L} $和$ D \ MATHCAL {l} $的OCAML版本,并通过Python的Ocaml绑定与Pytorch集成在一起。我们表明,当用于动态运动的现有深度学习框架中培训时,我们的方法会为常见运动规范模式(例如避免障碍和巡逻)产生预期的结果。我们方法的独特好处是完全严格的训练方法,消除了直接在诸如Python之类的“不安全”编程语言中的逻辑方面临时实施固有的许多风险。
translated by 谷歌翻译
源代码的表示学习对于将机器学习应用于软件工程任务至关重要。已经显示,跨不同编程语言的学习代码表示比从单语言数据集中学习更有效,因为来自多语言数据集的更多培训数据可提高该模型从源代码中提取语言 - 不平衡信息的能力。但是,现有的多语言模型忽略了特定于语言的信息,这对于在多语言数据集中培训的下游任务至关重要,同时仅着眼于学习不同语言之间的共享参数。为了解决这个问题,我们提出了MetatPtrans,这是一种用于多语言代码表示学习的元学习方法。 MetAtPtrans根据输入源代码段的特定编程语言为特征提取器生成不同的参数,从而使模型能够同时学习语言 - 语言和特定于语言的信息。实验结果表明,MetAtPtrans可将最新方法的F1得分显着提高到2.40个百分点,以汇总代码摘要,这是一项语言不可或缺的任务;以及TOP-1(TOP-5)的预测准确性高达7.32(13.15)百分点,以完成代码完成,这是一项特定于语言的任务。
translated by 谷歌翻译
本文报告了Chalearn的Autodl挑战系列的结果和后攻击分析,这有助于对自动学习(DL)进行分类,以便在各种环境中引入的深度学习(DL),但缺乏公平的比较。格式化所有输入数据模型(时间序列,图像,视频,文本,表格)作为张量,所有任务都是多标签分类问题。代码提交已在隐藏的任务上执行,具有限制时间和计算资源,推动快速获取结果的解决方案。在此设置中,DL方法占主导地位,但流行的神经结构搜索(NAS)是不切实际的。解决方案依赖于微调预培训的网络,架构匹配数据模块。挑战后测试没有透露超出强加时间限制的改进。虽然没有组件尤其原始或新颖,但是一个高级模块化组织出现了“Meta-Learner”,“数据摄入”,“模型选择器”,“模型/学习者”和“评估员”。这种模块化使得消融研究,揭示了(离坡)元学习,合奏和高效数据管理的重要性。异构模块组合的实验进一步证实了获胜解决方案的(本地)最优性。我们的挑战队遗产包括一个持久的基准(http://utodl.chalearn.org),获胜者的开放源代码,以及免费的“autodl自助服务”。
translated by 谷歌翻译